此量化方式对权重和激活值均进行量化,将高位浮点数转为8 bit,减少模型权重的体积。使用int8格式的数据进行计算,可以减少MatMul算子计算量,以提升推理性能。 仅支持BaiChuan2-7B,BaiChuan2-13B,ChatGLM2-6B,CodeGeeX2-6B,CodeLLamA-34B,DeepSeek-V2,Gemma-7B,InternLM2-20B,LLaMA2-13B,LLaMA2-7B,LLaMA2-70B,LLaMA3.1-70B,LLaMA-65B,LLava-v1.5-13B,LLava-v1.5-7B,Qwen2.5-72B,Qwen2.5-57B,Qwen2